What Survives Into Context: A Diagnostic for Budget-Constrained Multi-Hop RAG and When Submodular Evidence Packing Improves It
预算受限多跳RAG的诊断指标与子模证据打包增益条件
🧭 预算受限多跳RAG证据选择
Ahsanullah University of Science and Technology
提出 answer-in-context 诊断，并揭示子模证据打包仅在弱 reader、多跳互补结构下有效
📌 工作参考价值（4 点）
- 离线评估指标：在上下文窗口局限时，用 answer-in-context（答案是否作为连续片段出现在最终上下文）替代传统文档召回率评估打包质量，与下游 F1 相关性更高。
- 证据打包策略：当使用弱 reader（<7B）且面临多跳互补证据时，将上下文构建建模为预算约束的子模最大化，同时优化相关性、查询覆盖、代表性和多样性，可获得明显提升（最高 +5.1 F1）。
- 适用条件判断：该打包收益仅在四种条件同时满足时成立：多跳互补结构、检索已召回证据、严格但非极端预算、reader 能力不足。若使用 7B+ 模型，优势消失甚至反转为负，应切换为简单截断或启发式。
- RAG Agent 工具：在为搜索推荐系统构建 RAG Agent 时，可部署轻量级子模打包模块，针对弱基座模型在预算敏感场景（如商品知识问答、个性化推荐解释生成）中提升证据密度，但需持续监测 reader 规模边界。